شاید کاربران ندانند که در گذشته برنامه‌هایی هم‌چون Archie، ورونیکا (Veronica) و جاگهد (Jughead) فهرست‌ کل فایل‌های قرار گرفته برروی وبگاه‌های FTP را جمع‌آوری می‌کرد و پایگاه داده‌ قابل جست‌وجویی از نام فایل‌ها را ایجاد می‌کردند.

تا قبل از وجود جست‌وجوگرها، به دلیل گستره‌ی کوچک و محدود اینترنت فهرست کاملی از تمام سرویس‌دهنده‌های وب وجود داشت. استفاده از این فهرست برای آگاهی از سرفصل‌ها و اطلاعات قابل دسترس در آن‌ها برای کاربران کفایت می‌کرد، اما پس از شروع دوران شکوفایی اینترنت و ارائه‌کنندگان خدمات و افزایش غیرقابل تصور میزان محتوا و وبگاه‌های ارائه‌شده در این عرصه، دیگر فهرست‌های فوق‌الذکر پاسخ‌گوی نیازهای کاربران نبوده و وجود ابزاری جدید در این میان کاملا احساس می‌شد تا اطلاعات را به روز و جدید نگه‌داری کند.